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1 322 Abstract of EP0763406 

The method involves using several spatially separated electronic cameras with 
image processing function which is calibrated by imaging a calibration board with 
a point pattern associated with each camera, and using the resulting images to 
determine the position of each camera w.r.t. the calibration board. The position of 
each camera is stored, the calibration board is independently measured and the 
resulting measurements are also stored. An object is entered into the space 
between the cameras and a determined point on the object is imaged on each 
camera. The relative position of that point in the image is processed together with 
the constructive, predetermined position of the characteristic point on the object 
and the stored data. All processed values describe the position of the object in 
the six spatial degrees of freedom. 
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(54) Verfahren zum Bestimmen der Lage eines Korpers im Raum 



(57) Bei einem Verfahren zum Bestimmen der Lage 
eines Korpers im Raum, um IVIanipulationen an diesem 
durchzufuhren, wird zur Losung der Aufgabe, ein zu 
manipulierendes Element in Bezug zum Manipulator 
direkt zu bringen, vorgeschlagen, daB jede von mehre- 
ren raumlich getrennten elektronischen Kameras mit 
Bildverarbeitung bei deren Einmessen eine ihr zugeord- 
nete Kalibriertafel mit Punktmuster aufnimmt, deren Bil- 
der sowie das Punktmuster zur Bestimmung der Lage 
der einzelnen Kamera im Raum verarbeitet und deren 
Lage speichert, daB eine Vermessung der Kalibrierta- 
feln zueinander getrennt hiervon erfolgt, daB diese 



Werte ebenfalls gespeichert werden, daB anschlieBend 
der Korper in den Raum zwischen den elektronischen 
Kameras verbracht wird, daB je ein charakteristischer 
Punkt auf dem KOrper in je einer diesem zugeordneten 
elektronischen Kamera abgebildet wird, daB dessen 
Lage im Bild mit seiner konstruktiven, vorgegebenen 
Position des charakteristischen Punktes auf dem Kor- 
per zusammen mit den gespeicherten Werten verarbei- 
tet wird und daB alle derart verarbeiteten Werte, die 
Lage des Korpers im Raum, in den sechs raumlichen 
Freiheitsgraden charakterisieren. 
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Beschreibung 

Die Erfindung betrifft ein Verfahren zum Bestimmen 
der Lage eines Korpers im Raum, urn Manipulationen 
an diesem durchzufuhren. 5 

Derartige Verfahren zur Bestimmung der Lage 
eines Korpers in einem Raum sind insbesondere bei 
der Herstellung von Kraftfahrzeugen erforderlich, wenn 
es bei der Serienherstellung und Serienmanipulation 
darum geht, Korper gleichen Typs mit Zusatzteilen wie 10 
TCiren, Kotflugein, Radaufhangungen oder Kofferraum- 
deckeln zu versehen. Aucli ist es einsetzbar, urn erfor- 
derliclie Manipulationen beim SchweiBen, Lackieren 
Oder Abdicliten von Nahten raschestmoglich durchzu- 
fuhren. 15 

Jedoch nicht nur auf dem Gebiet der Fahrzeugtech- 
nik, sondern auf alien anderen Gebieten, bei welchen 
ein Bauteil aus mehreren Bauteilen zusammengesetzt 
werden soil, ist zur raschen Herstellung eines derarti- 
gen Elements, insbesondere im Hinblick auf die Genau- 20 
igkeit und die Schnelligkeit eine Lagebestimmung 
unumganglich. 

Um derartige Vermessungen durchzufuhren, fehit 
es nicht an Versuchen, dies zu bewerkstelligen. So ist 
es beispielsweise bekannt geworden, Kanten einer 25 
Fahrzeugkarosserie mit Hilfe einer Laserabtastung fest- 
zustellen, diese Werte zu speichern und entsprechend 
diesen Werten nachfolgende Bauteile auszurichten, um 
dann anschliefBend daran, beispielsweise mit Hilfe von 
Robotern, Turen anzuschweiBen oder auch das Befe- 30 
stigen von Kofferraumdeckein oder Motorhauben zu 
bewerkstelligen. 

Es ist jedoch bekannt, daB durch Laserstahl eine 
Gesundheitssch^digung nicht auszuschlieBen ist. Fur 
die Verbindung eines Bauteils mit einem GrundkOrper, 35 
beispielsweise einer Autotur mit einem Grundrahmen, 
ist es erforderlich, Lagetoleranzen auszugleichen, well 
sonst ein VerscheiBen nicht sicher durchgefuhrt werden 
kann, wenn nicht die Stellen fur die Scharniere der Tur 
am Rahmen genau erreicht werden oder wenn zwi- 40 
schen diesen Stellen und den Ttirscharnieren zu 
Beginn des SchweiBvorgangs ein zu groBer Abstand 
besteht. Die Folge derartiger MiBeinstellungen sind 
dann zwangslaufig AusschuBherstellungen, die erst 
muhselig entweder nachgearbeitet oder direkt ver- 45 
schrottet werden mCissen. 

Als Hilfsmittel verwendet man deshalb auch 
mechanische Arretierungen, welche auf den Forder- 
bandern die zusammenzubauenden Bauteile, d. h. den 
Grundkorper sicher fiihren, damit von dieser Seite aus so 
bereils eine grobe Voreinstellung gegeben ist. Derartige 
Hilfseinrichtungen sind jedoch nicht nur einem Ver- 
schleiB und einer Verschmutzung ausgesetzt, sondern 
es tritt wie oben ausgefuhrt auch die Toleranz bei der 
Herstellung des Grundkorpers sehr stark in Erschei- 55 
nung. Dies und die zunehmende Forderung nach flexi- 
bler Fertigung bei einem Produktmix fiihren dazu, daB 
solche Einrichtungen praktisch nicht mehr einsetzbar 
sind. Unter Produktmix versteht man im vorliegenden 



Fall eine nicht sortenreine Fertigung auf einer Ferti- 
gungslinie. 

Ausgehend hiervon liegt der vorliegenden Erfin- 
dung die Aufgabe zugrunde, ein zu manipulierendes 
Element in Bezug zum Manipulator direkt zu bringen. 
Diese Aufgabe wird erfindungsgemaB dadurch gelost, 
daB jede von mehreren raumlich getrennten elektroni- 
schen Kameras mit Bildverarbeitung bei deren Einmes- 
sen eine ihr zugeordnete Kalibriertafel mit Punktmuster 
aufnimmt, deren Bilder sowie das Punktmuster zur 
Bestimmung der Lage der einzelnen Kamera im Raum 
verarbeitet und deren Lage speichert, daB eine Vermes- 
sung der Kalibriertafein zueinander getrennt hiervon 
erfolgt, daB diese Werte ebenfalls gespeichert werden, 
daB anschlieBend der Korper in den Raum zwischen 
den elektronischen Kameras verbracht wird, daB je ein 
charakteristischer Punkt auf dem KOrper in je einer die- 
sem zugeordneten elektronischen Kamera abgebildet 
wird, daB dessen Lage im Bild mit seiner konstruktiven, 
vorgegebenen Position des charakteristischen Punktes 
auf dem Korper zusammen mit den gespeicherten Wer- 
ten verarbeitet wird und daB alle derart verarbeiteten 
Werte, die Lage des Korpers im Raum, in den sechs 
raumlichen Freiheitsgraden charakterisieren. Hierdurch 
wird erreicht, daB unabhdngig von der Genauigkeit der 
Herstellung des Grundkorpers jeweils an der richtigen 
Stelle, bezogen auf den Manipulator, Elemente an der 
richtigen Stelle am Grundkorper angebracht werden 
konnen, da die Ausrichtung des Korpers nunmehr 
zwangsldufig durch eine Koordinatentransfbrmation 
zwischen dem die raumliche Lage des Korpers darstel- 
lenden Koordinatensystem und dem Koordinatensy- 
stem des Roboters oder Manipulators, der zwangslaufig 
zu den Fahrzeugkoordinaten ausgerichtet sein muB, um 
ein sicheres und ausschuBfreies Bearbeiten des Kor- 
pers beispielsweise des Grundgestells einer Karosserie 
zu bewirken. Auch ist es hierdurch moglich, Lackierun- 
gen oder Abdichtungen oder Ummantellungen zielge- 
nau am zu fertigenden Bauteil anzubringen. 

Daruberhinaus ist auch eine mechanische Bearbei- 
tung eines so in den Raum verbrachten Korpers mog- 
lich, wenn zusatzlich erfindungsgemaB die Fuhrung 
eines Gegenhalters das Bauteil bzw. die Karosse 
abstutzt, so daB mittels spanabhebender Bearbeitung 
beispielsweise eine Bearbeitung durchgefuhrt werden 
kann. 

Eine Ausgestaltung des erfinderischen Gegenstan- 
des besteht darin, daB die Position eines Nullkdrpers 
des selben Typs bestimmt wird und daB die Messung 
aller folgenden Korper auf diesen bezogen werden. 
Damit wird erreicht, daB eventuelle Fehler bei der Ein- 
messung sowie der Vermessung zufolge ungenauer 
Herstellung der Grundkarosse beispielsweise minimi ert 
werden, da diese Fehler sich beim Bezug der weiteren 
Karossen auf die Nullkarosse als Fehler hdherer Ord- 
nung wesentlich verringern. 

Im Nachfolgenden wird an einem Ausfuhrungsbei- 
spiel die erf inderische Verfahrensweise naher eriautert. 

Es zeigen in schematischer Darstellung: 
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Figur 1 einen EinmeBvorgang fur die Position einer 

Kamera bezuglich des Raums 
Figur 2 eine Bestimmung der raumlichen Lage 

eines Korpers an welchem Manipulationen 

durchgefuhrt werden 
Figur 3 Einflu3 einer Positionierung eines Nullkdr- 

pers 

In der Beschreibung werden in den einzelnen Figu- 
ren gleiche Bauteile mit denselben Bezugziffern 

bezeichnet. 

GemaB Figur 1 wird eine Kamera 1, bei der es sich 
um eine bel^nnte CCD-Kamera mit bekannter Bildver- 
arbeitung handelt, optisch mit einer Kalibriertafel 2 in 
Verbindung gebracht. Auf der Kalibriertafel 2 sind Mar- 
kierungen 3 angeordnet, deren gegenseitiger Abstand 
bekannt ist. Die Kamera 1 wird an den Rand des Rau- 
mes verbracht, beispielsweise bei einer Lackierkabine 
zum Lackieren von Fahrzeugkarossen hinter einer 
Wand der Lackierkabine, um die Kamera vor Beschadi- 
gung und Verschmutzen zu schutzen, dergestalt, da3 
lediglich eine kleine Offnung in der Wand verbleibt, 
durch welche die Kamera 1 eine optische Verbindung 
mit der ilir zugeordneten Kalibriertafel 2 aufnehmen 
kann. 

Voraussetzung fur eine richtige Einmessung Ist 
lediglich, daB die Kamera 1 nicht senkrecht zur Kali- 
briertafel 2 steht. 

Die nunmehr uber die Kamera aufgenommenen 
Inlbrmationen dienen dazu, die rdumliche Lage, bzw. 
das Koordinatensystem der Kamera 1 , festzulegen. In 
den anderen Wanden 4 der Lackierkabine sind minde- 
stens noch zwei weitere Kameras 1 in der selben Weise 
angeordnet und arbeiten ebenfalls mit weiteren Kali- 
briertafeln zusammen. Der Vorgang des Einmessens 
wurde der Einfachheit halber nur mit einer Kamera 
eriautert. Es ist jedoch verstandlich, daB jede der bei- 
den anderen Kameras in der selben Weise eingemes- 
sen werden kann. 

Nach Einmessen der Kameras in der oben 
beschriebenen Weise wird in einem getrennten Vor- 
gang wie ebenfalls auf Figur 1 dargestellt, nunmehr die 
Lage der Kalibriertafein 2 bestimmt. Im Ausfuhrungsbei- 
spiel handelt es sich um drei Kalibriertafein, die durch 
ein anderes MeBmittel, beispielsweise Theodoliten 5, 
vermessen und deren Ergebnis gespeichtert wird. Das 
in der Figur 1 dargestellte Koordinatensystem 17 stellt 
das Bezugskoordinatensystem fur die gesamte Mes- 
sung dar. 

Aufgrund dieser EinmeBwerte, bestehend aus den 
in der Kamera mittels Bildverarbeitung gemessenen 
und gespeicherten Werten und den durch die theodoli- 
tische Vermessung der drei Kalibriertafein erhaltenen 
Werte, ist die Position der Kamera bestimmt. 

Wird nun, wie in Figur 2 dargestellt, ein Korper 6 in 
den Raum verbracht, beispielsweise uber am Boden 7 
verlegte Schienen 8, so kann, nachdem die Kameras 1 
auf den Raum eingemessen wurden, nun ein beliebie- 
ger Punkt bzw. beliebige Punkte am Korper 6, bei dem 



es sich im Ausfuhrungsbeispiel um eine Karosserie 
handelt, ausgewahit werden, an welchen Manipulatio- 
nen am Korper 6 durchgefuhrt werden mCissen, bei- 
spielsweise das Einsetzen von Turen oder das 

5 Anbringen von Deckein oder das Einstellen von Spritz- 
pistolen bei einer Lackieranlage zu der jeweiligen Ober- 
flache des Korpers mit Hilfe von Robotern 9. Mittels der 
Kameras wird die Postition je eines Merkmals, dessen 
Position in dem dem Objekt zugeordneten Koordinaten- 

10 system 18 gespeichert ist, im aufgenommenen Kame- 
rabild mittels Bildverarbeitung erkannt und mit dem bei 
der Einmessung gespeicherten Werten verarbeitet. 
Hieraus ist der Bezug des Koordinatensystems 18 zum 
Koordinatensystem 1 7 bestimmt. So tragen im Ausfuh- 

75 rungsbeispiel die beiden Roboter 9 Farbdusen 10 und 
11, welche eine fehlerfreie Lackierung des Fahrzeugs 
ermoglichen. Anstelle dieser Farbdusen 10/11 konnen 
auch andere Hilfswerkzeuge treten, beispielsweise Ver- 
siegelungseinrichtungen, welche SchweiBndhte versie- 

20 gein Oder auch Schraubeinrichtungen, welche 
Blechteile mit oder ohne entsprechende Gegenhalte- 
rungen an den Karossen anbringen. 

Hierzu ist, wie bereits in der Einleitung gesagt, 
erfindungsgemaB gleichartig eingestellt ein Gegenhal- 

25 ter venwendbar, um beispielsweise die Bohrkrdfte, wel- 
che beim Bohrvorgang auftreten, aufnehmen zu 
(^nnen, ohne daB die Karosserie wdhrend der Manipu- 
lation in eine andere Lage verschoben wird. 

In Figur 3 ist ein Ausfuhrungsbeispiel dargestellt, 

30 mit welchem der EinfluB einer Positionierung eines Null- 
korpers auf die hierdurch zu steigernde Bearbeitungs- 
genauigkeit eriautert wird. Ein Nullkorper 12 wird, wie 
zu Figur 1 und Figur 2 insbesondere beschrieben, ver- 
messen. Hierbei handelt es sich bei dem Nullkorper um 

35 einen KOrper des selben Typs der nachfolgend zu bear- 
beitenden Korper. Durch diese Vorgehensweise lassen 
sich Fehler, die beispielsweise durch Ungenauigkeiten 
in der Herstellung oder des Einmessens, oder MeBfeh- 
ler, die bei der Vermessung des NullkOrpers aufgetreten 

40 sind, minimieren. Es bleiben nur noch Fehler hoherer 
Ordnung Cibrig. Bei nachfolgenden Messungen wird aus 
einem bei der Nullmessung bestimmten Lagewert 
zufolge Verschiebung des nachsten zu manipulieren- 
den Korpers 13 ein Verschiebevektor festgestellt, wel- 

45 Cher dann bei der Einstellung des in Figur 9 
dargestellten Roboters durch Vergieich zwischen Istpo- 
sition des nachsten zu manipulierenden Korpers 13 mit 
der Sollposition bzw. Nullposition des Nullkdrpers 12 
verglichen wird und hiermit berucksichtigbar bleibt. 

50 

Patentanspruche 

1. Verfahren zum Bestimmen der Lage eine Korpers 
im Raum, um Manipulationen an diesem durchzu- 
55 fuhren, dadurch gekennzeichnet, daB jede von 
mehreren rdumlich getrennten elektronischen 
Kameras mit Bildverarbeitung bei deren Einmessen 
eine ihr zugeordnete Kalibriertafel mit Punktmuster 
aufnimmt, deren Bilder sowie das Punktmuster zur 
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Bestimmung der Lage der einzelnen Kamera im 
Raum verarbeitet und deren Lage speichert, da3 
eine Vermessung der Kalibriertafein zueinander 
getrennt hiervon erfolgt, da3 diese Werte ebenfalls 
gespeichert werden, daB anschlieBend der Korper 5 
in den Raum zwischen den elektronischen Kame- 
ras verbracht wird, daB je ein charakteristischer 
Punkt auf dem Korper in je einer diesem zugeord- 
neten elektronischen Kamera abgebildet wird, daB 
dessen Lage im Bild mit seiner konstruktiven, vor- w 
gegebenen Position des charakteristisclien Punk- 
tes auf dem Korper zusammen mit den 
gespeicherten Werten verarbeitet wird und daB alle 
derart verarbeiteten Werte die Lage des KOrpers im 
Raum in den sechs rdumliclien Freiheitsgraden 15 
charakterisieren. 

Verfahren nach Anspruch 1 dadurch gekennzeich- 
net, daB die Position eines Nullkorpers des selben 
Typs bestimmt wird und daB die Messung aller io\- 20 
genden Kdrper auf diesen bezogen wird. 
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Fig. 2 



6 



EP 0 763 406 A1 




7 



EP 0 763 406 A1 



J 



Europaisches 
Patentamt 



EUROPAISCHER RECHERCHENBERICHT 



Numraer der Anmeidung 

EP 95 11 4588 



EINSCHLAGIGE DOKUMENTE 



Kategorie 



KennzciGhiiuiig des Dokuments mit Aneabe, soweit erfbrderlich, 
der roaflgeblichen Tdle 



Be«riliit 
Ansprucfa 



KLASSinKATION DER 
ANMELDUNG an<-CL6) 



US-A-4 639 878 (DAY CHIA P ET AL) 
27.Januar 1987 

* Spalte 7, Zeile 66 - Spalte 12, Zeile 
4G; Abbildungen 1-9 * 

EP-A-0 489 919 (FANUC LTD) 17.Juni 1992 

* Seite 2, Spalte 2, Zeile 41 - Seite 3, 
Spalte 4, Zeile 55; Abbildungen 1-4 * 

WO-A-94 29774 (BERTIN & CIE ; LORRAINE 
LAMINAGE (FR); ABITBOL MARC (PR); 
MAILLART) 22.Dezember 1994 

* Seite 3, Zeile 36 - Seite 10, Zeile 13; 
Abbildungen 1-3 * 

WO-A-93 05479 (CIMETRIX INC.) 18.Marz 1993 

* Seite 10, Zeile 5 - Seite 40, Zeile 22; 

Abbildungen 1-26 * 

US-A-4 796 200 (PRYGR TIMOTHY R) 3.Januar 
1989 

* Spalte 3, Zeile 11 - Spalte 5, Zeile 29; 
Anspriiche 1,8; Abbildungen 1-5B * 

FR-A-2 706 999 (AUTOMOBILES PEUGEOT S.A- & 
AUTOMOBILES CITROEN S.A.) 30.Dezember 1994 

* das ganze Dokuraent * 



1.2 



1,2 



1.2 



1,2 



1,2 



1,2 



Der vorliegende Recherdienbericht wurde fur alle PatenCuispruche erstdlt 



B25J9/16 
G05B19/401 



RECHERCHIERTE 
SACHGEBIETE ant.CL6) 



G05B 

B25J 



DEN HAAG 



26.Februar 1996 



Hauser, L 



KATEGORIE DER GENANNTEN DOKUMENTE 

X : von besonderer Bedeutung aUein betrachtet 

Y : von besonderer Bedoitung in Verbindung mit eiaer 

anderen Vertiffentlichung dersdben Kategorie 
A : technologiscfa^ Hintergrund 
O : nichtschriftliche Offenbaning 
P : ZvrisdicnUteratur 



T : der Erfindung zugnmde llegende Theorien oder Grundsfltze 
E : Uteres Patentdokument, das jedoch erst am oder 

nadi dera Anmeldedatum verfiffentlicht worden ist 
D : in der Anmeidung angefUhrtes Dokument 
L : aus andem Grttnden angeftthrtes Dokument 

& : Mitglied der gleichen PatentfanlUe, Ubereinstimmeftdes 
Dokument 



8 



